Optimal Control and Variational Methods Lecture Notes Prof . Dan Cobb

2 Finite-Dimensional Optimization 5 2.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.1.1 Euclidean Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.1.2 Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.1.3 Matrix Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.2 Unconstrained Optimization in R . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.2.1 Extrema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.2.2 Jacobians . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.2.3 Critical Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.2.4 Hessians . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.2.5 Definite Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.2.6 Continuity and Continuous Differentiability . . . . . . . . . . . . . . . . . . 14 2.2.7 Second Derivative Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.3 Constrained Optimization in R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.3.1 Constrained Extrema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.3.2 Open Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.3.3 Strict Inequality Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.3.4 Equality Constraints and Lagrange Multipliers . . . . . . . . . . . . . . . . . 19 2.3.5 Second Derivative Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.3.6 Non-Strict Inequality Constraints . . . . . . . . . . . . . . . . . . . . . . . . 23 2.3.7 Mixed Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27